13230
21189 
Estou tentando obter RabbitMQ com Celery e Django em uma instância EC2 para fazer algum processamento de fundo bastante básico. Estou executando o rabbitmq-server 2.5.0 em uma grande instância do EC2.
Baixei e instalei o cliente de teste de acordo com as instruções aqui (na parte inferior da página). Acabei de liberar o script de teste e estou obtendo a saída esperada:
taxa de recepção: 2.350 msg / s, latência mín. / média / máx .: 588078478/588352905/588588968 microssegundos
taxa de recepção: 1.844 msg / s, latência mín. / média / máx .: 588589350/588845737/589195341 microssegundos
taxa de recepção: 1562 msg / s, latência mínima / média / máxima: 589182735/589571192/589959071 microssegundos
taxa de recepção: 2.080 msg / s, latência mín. / média / máx .: 589959557/590284302/590679611 microssegundos
O problema é que está consumindo uma quantidade incrível de CPU:
PID USUÁRIO PR NI VIRT RES SHR S% CPU% MEM TEMPO + COMANDO
668 rabbitmq 20 0 618m 506m 2340 S 166 6,8 2: 31,53 beam.smp
1301 ubuntu 20 0 2142m 90m 9128 S 17 1,2 0: 24,75 java
Eu estava testando em uma microinstância anteriormente e ela estava consumindo completamente todos os recursos da instância.
Isso era esperado? Estou fazendo algo errado?
Obrigado.
Editar:
A verdadeira razão para esta postagem foi que o celerybeat parecia funcionar bem por um tempo e, de repente, consumir todos os recursos do sistema. Eu instalei as ferramentas de gerenciamento rabbitmq e estive investigando como as filas são criadas a partir do aipo e do conjunto de testes rabbitmq. Parece-me que o aipo está deixando essas filas órfãs e elas não vão embora.
Aqui está a fila gerada pelo conjunto de testes. Uma fila é criada e todas as mensagens entram e saem dela:
Celerybeat cria uma nova fila para cada vez que executa a tarefa:
Ele define o parâmetro de exclusão automática como verdadeiro, mas não tenho certeza de quando essas filas serão excluídas. Eles parecem apenas lentamente acumular e consumir recursos.
Alguém tem alguma ideia?
Obrigado.
2021-01-29 08:17:52 
Ok, eu descobri.
Aqui está a documentação relevante:
http://readthedocs.org/docs/celery/latest/userguide/tasks.html#amqp-result-backend
Resultados antigos não serão limpos automaticamente, portanto, certifique-se de consumir os resultados ou o número de filas acabará fora de controle. Se você estiver executando o RabbitMQ 2.1.1 ou superior, você pode aproveitar as vantagens do argumento x-expires para filas, que expirará as filas após um determinado limite de tempo após não serem utilizadas. A expiração da fila pode ser definida (em segundos) pela configuração CELERY_AMQP_TASK_RESULT_EXPIRES (não habilitado por padrão).
|
Para adicionar a solução de Eric Conner para seu próprio problema, http://docs.celeryproject.org/en/latest/userguide/tasks.html#tips-and-best-practices afirma:
Ignore os resultados que você não quer
Se você não se importa com os resultados de uma tarefa, certifique-se de definir a opção ignore_result, pois armazenar resultados desperdiça tempo e recursos.
@ app.task (ignore_result = True)
def mytask (...):
alguma coisa()
Os resultados podem até ser desabilitados globalmente usando a configuração CELERY_IGNORE_RESULT.
Isso, junto com a resposta de Eric, são provavelmente as melhores práticas mínimas para gerenciar o back-end de resultados.
Se você não precisa de um back-end de resultados, defina CELERY_IGNORE_RESULT ou não defina nenhum back-end de resultados Se você precisar de um backend de resultados, defina CELERY_AMQP_TASK_RESULT_EXPIRES para ser protegido contra o acúmulo de resultados não utilizados. Se você não precisa disso para um aplicativo específico, defina o ignorar local como acima.
|
sua resposta
StackExchange.ifUsing ("editor", function () {
StackExchange.using ("externalEditor", function () {
StackExchange.using ("snippets", function () {
StackExchange.snippets.init ();
});
});
}, "partes de codigo");
StackExchange.ready (function () {
var channelOptions = {
tags: "" .split (""),
id: "1"
};
initTagRenderer ("". split (""), "" .split (""), channelOptions);
StackExchange.using ("externalEditor", function () {
// Tem que disparar o editor após os snippets, se os snippets estiverem habilitados
if (StackExchange.settings.snippets.snippetsEnabled) {
StackExchange.using ("snippets", function () {
createEditor ();
});
}
outro {
createEditor ();
}
});
function createEditor () {
StackExchange.prepareEditor ({
useStacksEditor: false,
heartbeatType: 'answer',
autoActivateHeartbeat: false,
convertImagesToLinks: true,
noModals: true,
showLowRepImageUploadWarning: true,
reputaçãoToPostImages: 10,
bindNavPrevention: true,
postfix: "",
imageUploader: {
brandingHtml: "Powered by \ u003ca href = \" https: //imgur.com/ \ "\ u003e \ u003csvg class = \" svg-icon \ "width = \" 50 \ "height = \" 18 \ "viewBox = \ "0 0 50 18 \" fill = \ "none \" xmlns = \ "http: //www.w3.org/2000/svg \" \ u003e \ u003cpath d = \ "M46.1709 9.17788C46.1709 8.26454 46,2665 7,94324 47,1084 7,58816C47.4091 7,46349 47,7169 7,36433 48,0099 7,26993C48.9099 6,97997 49,672 6,73443 49,672 5,93063C49,672 5,22043 48,9832 4,61182 48,1414 4,61182C47,4335 4,26993C48.9099 6,97997 49,672 6,73443 49,672 5,93063C49,672 5,22043 48,9832 4,61182 48,1414 4,61182C47,4335 4,6431182 4,25.654,23,7623,74,6281 4,9281 467823,621 4,96281 4,9823,623,623,461,45,023,74,6281 4,9823,1623,623,14,6281 4,9282 C 4,9281 4,923,623,623,76,2 53,76,23,76,823,14,65,0281 4,928,023,623,14,65,0281 4,928,023,623. 43.1481 6.59048V11.9512C43.1481 13.2535 43.6264 13.8962 44.6595 13.8962C45.6924 13.8962 46.1709 13.2535 46.1709 11.9512V9.17788Z \ "/ \ u003e \ u003cpath d = \" M32.492 10.1439219 C32.492.492. 41.5985 12.6954 41.5985 10.1419V6.59049C41.5985 5.28821 41.1394 4.66232 40.1061 4.66232C39.0732 4.66232 38.5948 5.28821 38.5948 6.59049V9.60062C38.5948 10,85821 38.2696 11.5455 37.0454 11.520 11.545 11.5458.5948 5.28821 38.5455 11.5204 11.5204 11.5204 11.5458 11.5458. 521 35.4954 9.60062V6.59049C35.4954 5.28821 35.0173 4.66232 34.0034 4.66232C32.9703 4.66232 32.492 5.28821 32.492 6.59049V10.1419Z \ "/ \ u003e \ u003cpath fill-rule = \" evenodd \ "clip-rule = \" evenodd \ "clip-rule = ” .1369 4.56087 21.0134 6.57349 21.0134 9.27932C21.0134 11.9852 23.003 13,913 25.3754 13.913C26.5612 13,913 27.4607 13.4902 28.1109 12.6616C28.1109 12.7229 28.1161 12.7799 28.779 28.121 12.8346C 25.3754 13.913C26.5612 13,913 27.4607 13.4902 28.1109 12.6616C28.1109 12.7229 28.1161 12.7799 28.7799 2877121 12.8346C 27.4607 13.4902. 15,2321 24,1352 14,9821 23,5661 14.7787C23.176 14,6393 22,8472 14,5218 22,5437 14.5218C21.7977 14,5218 21,2429 15,0123 21,2429 15.6887C21.2429 16,7375 22,9072 17,6335 25,6622 17.6335ZM24.1317 9.27932C24.1317 7,94324 24,9928 7,09766 26,1024 7.09766C 28,0918 7,94324 7,09766 27,2119 28,0918 9.27932C28.0918 10,6321 27,2311 11,5116 26,1024 11.5116C24.9737 11,5116 24,1317 10,6491 24,1317 9.27932Z \ "/ \ u003e \ u003cpath d = \" M16.8045 11.9512C16.8045 17,2637 13,8962 18,2965 13,2535 13,8962 13.8962C19.3298 19,8079 13,2535 19,8079 11,9512V8.12928C19,8079 5,82936 18,4879 4,62866 16,4027 4,62866C15,1594 4,62866 14,279 4,98375 13,3609 5,88013C12,653 5,05154 11,6581 4,62866 10,3573 4,62866C9,34,34336 4,98375 13,3609 5,88013C12,653 5,05154 11,6581 4,62866 10,3573 4,62866C9,34,34336 4,850286,5666 8,94,68,66 8,94 6,94 6,94,68,676.51203 4.66232C5.47873 4.66232 5.00066 5.28821 5.00066 6.59049V11.9512C5. 893 13.2535 11.3711 13.8962 12,4044 13.8962C13.4375 13.8962 13.9157 13.2535 13.9157 11.9512V8.90741C13.9157 16.79,45.125.115 11.3711 13.8962 12,4044 13.8962C13.4375 13.8962 13.9157 13.2535 13.9157 11.9512V8.90741C13.9157 16.79.47.845. 87209 0,400291C0,843612 0,400291 0 1,1159 0 1,98861C0 2,87869 0,822846 3,57676 1,87209 3,57676C2,90056 3,57676 3,7234 2,87869 3,7234 1,98861C3.7234 1,1159 2,90056 0,400291 1,87209 # 0,400291 uB c / a \ u003e ",
contentPolicyHtml: “Contribuições do usuário licenciadas sob \ u003ca href =” https: //stackoverflow.com/help/licensing “\ u003ecc by-sa \ u003c / a \ u003e \ u003ca href =” https://stackoverflow.com / legal / política de conteúdo \ "\ u003e (política de conteúdo) \ u003c / a \ u003e",
allowUrls: true
},
onDemand: true,
discardSelector: ".discard-answer"
, imediatamenteShowMarkdownHelp: true, enableTables: true, enableSnippets: true
});
}
});
Obrigado por contribuir com uma resposta para Stack Overflow!
Certifique-se de responder à pergunta. Forneça detalhes e compartilhe sua pesquisa!
Mas evite ...
Pedir ajuda, esclarecimento ou responder a outras respostas.
Fazer declarações com base em opinião; Apoie-os com referências ou experiência pessoal.
Para saber mais, veja nossas dicas sobre como escrever boas respostas.
Rascunho salvo
Rascunho descartado
Cadastre-se ou faça o login
StackExchange.ready (function () {
StackExchange.helpers.onClickDraftSave ('# login-link');
});
Inscreva-se usando o Google
Cadastre-se usando o Facebook
Inscreva-se usando e-mail e senha
Enviar
Postar como convidado
Nome
O email
Obrigatório, mas nunca mostrado
StackExchange.ready (
function () {
StackExchange.openid.initPostLogin ('. New-post-login', 'https% 3a% 2f% 2fstackoverflow.com% 2fquestions% 2f6362829% 2frabbitmq-on-ec2-eating-tons-of-cpu% 23nova-resposta', question_page ');
}
);
Postar como convidado
Nome
O email
Obrigatório, mas nunca mostrado
Publique a sua resposta
Descartar
Ao clicar em “Publique sua resposta”, você concorda com nossos termos de serviço, política de privacidade e política de cookies
Não é a resposta que você está procurando? Navegue por outras perguntas com a tag django rabbitmq celery ou faça sua própria pergunta.